L'histoire de Charlieu ne débute réellement que vers 875 avec la fondation de son abbaye bénédictine. Rattaché à Cluny vers 930-940, le monastère est réduit en prieuré avant 1040. Très prospère, il voit se former autour de lui une ville marchande que les rivalités féodales et la guerre de Cent Ans obligent à se fortifier (Tour Philippe-Auguste, fin XIIe).
Des fouilles ont permis de découvrir les fondations de trois églises construites sur le même emplacement aux IXe, Xe et XIe siècles. De cette dernière, dédiée à Saint Fortuné et consacrée en 1094, ne subsistent que la dernière travée, la façade et le narthex (porche) ajouté devant au début du XlIe. Son grand portail, dont la décoration s'inspire du Livre de l'Apocalypse, est un chef d'oeuvre de l'art roman.
Le cloître actuel, de la fin du XVe, a bénéficié d'une restauration complète en 1999/2000. Il s'ouvre sur la salle capitulaire (XVIe, lutrin remarquable) par une colonnade romane. De là, on accède à la chapelle du prieur (fin XVe). Deux musées (lapidaire et d'art religieux) ont également été aménagés dans le parloir et une ancienne cave. Par une porte monumentale crénelée, on pénètre dans la cour de l'Hôtel du Prieur (début XVIe).
Aménagé dans l'ancien dortoir des novices, le Centre des Visiteurs propose, outre un espace accueil et boutique, un important espace muséographique recréant, de manière vivante, cet univers monastique pour tous ceux qui désirent «ouvrir les portes du temps».